VAKRA: Evaluating Multi-Hop Reasoning Across APIs and Retrieval Under Tool-Use Policies
VAKRA：评估工具策略下跨 API 与检索的多跳推理
🧭 Agent 工具调用评测基准
IBM
推出 8000+ 可执行 API 的企业 Agent 评测基准，发现模型失败集中在语言中介推理与策略约束
📌 工作参考价值（4 点）
- 真实 API 重执行验证：评测 Agent 时用可执行 API 重放预测的工具调用并验证结果，比静态答案更接近线上工具调用场景；电商搜索/推荐 Agent 评估可借鉴，允许多条有效路径判断正确性，避免误判。
- 关注语言中介推理而非工具调用：论文发现失败集中在实体消歧、跨源 grounding，而非工具调用机制。电商 Agent 设计应重点优化实体链接和 schema 映射，例如显式注入商品 ID 映射、同义词表、类目别名，减少因命名不一致导致的调用失败。
- 策略约束下增加拒答机制：模型在不可回答查询上准确率低至 2.4%，暴露严重幻觉。在电商客服/推荐 Agent 中，应设置明确的不可回答或信息不足分支，结合置信度阈值触发拒答或转人工，避免错误工具调用造成业务风险。
- 固定 ReAct harness 隔离模型能力：团队在选型基础模型或评测生成式推荐能力时，可固定同一 Agent 框架，只替换底层 LLM，快速定位模型本身的问题，避免架构干扰。